Академическая библиотека была основана одновременно с Академией художеств в 1757 году. С момента образования библиотека была учреждением, призванным собирать и хранить издания, посвящённые истории мирового и российского изобразительного искусства. Фонды комплектовались необходимыми для образования и воспитания будущих художников и архитекторов изданиями по теории и истории искусства, рисунку, живописи, гравированию, архитектуре, анатомии, перспективе, мифологии и прочим дисциплинам.

В настоящее время в хранилищах библиотеки находится более 700 тыс. библиотечных единиц. Здесь можно найти большое количество материалов по истории и теории искусства на русском и иностранных языках, материалы с научных конференций разных лет, огромное количество иллюстративного материала, журналы по архитектуре, искусству и ДПИ.